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摘 要 : [目的 /意义 ] 政策 工具 的 识别 与 分 析 是 政策 研究 的 重要 手段 之 一 。 此 项 工作 目前 多 以 人 工 开 展 。 本 文 运用 深度 


词 : 


学 习 方 法 进行 政策 工具 的 自动 识别 ,以 期 提高 政策 工具 识别 的 效率 。 [方法 /过 程 ] 设 计 与 实施 政策 数据 采集 与 清 
Ea ri E 结果 解读 的 政策 工具 自动 识别 的 实验 流程 ,并 以 北上 广 疝 四 地 的 政 

府 信息 公开 政策 为 例 , 对 比 传统 机 器 学 | uu TS 性 能 表现 。 此 外 ,提出 整 

合 政策 全 局 信息 进行 各 段落 政策 工具 识别 的 方案 ,并 通过 实验 证 明 方案 的 有 效 性 。[ 结果 /结论 ] 深度 学 习 模 型 

CNN 在 全 量 测试 数据 上 达到 76. 5190 的 准确 率 , 整 合 全 局 信息 的 CNN 模型 达到 77. 13% 的 准确 率 。 而 仅 对 模型 的 

高 置信 度 结 果 进 行 评估 发 现 ,整合 全 局 信息 的 CNN 模型 在 其 中 55. 63% 的 测试 数据 上 准确 率 达 到 了 95.44% ,该 

准确 率 已 经 达到 了 实用 的 要 求 ,表明 超过 一 半 的 政策 工具 标 引 可 以 借用 模型 的 高 置信 度 结果 ,无 需 人 工 复 核 。 基 
于 深度 学 习 方法 研究 政策 工具 的 自动 识别 取得 较 好 的 效果 ,提升 政策 工具 标 引 的 效率 ,为 大 数据 量 的 政策 工具 自 

动 识别 提供 正面 经 验 。 

政策 工具 REFI ”自动 识别 ” 卷 积 神经 网 络 
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酉 政策 是 政府 、 政 党 和 组 织 为 完成 一 定 历史 时 期 的 | 没有 统一 的 定义 。J. P. Lester 等 认为 政策 工具 是 指 政 


任 基 而 制定 的 具体 生动 准则 ,各 国 各 级 政府 每 年 会 出 | 策 执 行 的 技术 ,并 概括 出 通过 命令 和 控制 与 通过 经 济 
t pne mi 理 和 调控 行为 的 真实 印迹 ， | 动力 的 两 条 技术 路 径 ”。0. E，Hughes 认为 政策 工具 
成 沽 政策 分 析 的 基础 ”。 政 策 分 析 既 可 以 分 析 政 策 外 | 是 指 政府 的 行为 方式 ， 以 及 通 过 某 种 途径 用 以 调节 政 
tte 也 可 以 挖掘 政策 内 在 特征 。 而 政策 工具 ,作为 | 府 行为 的 机 制 中 。L.， M. Salamon 认为 政策 工具 是 指 


[2] 


要 


析 中 的 广泛 运用 ,因此 政策 工具 的 自动 识别 具有 重要 | 策 工 具 的 定义 没有 统一 ,但 具有 共通 之 处 ,综合 以 上 观 
的 意义 。 本 文 探究 基于 深度 学 习 的 政策 工具 自动 识别 | 点 ,可 将 政策 工具 理解 为 政策 制定 者 为 实现 特定 的 政 


动 与 实施 的 重要 手段 .政策 内 在 特征 挖掘 的 重 | 影响 整 g 个 过 程 以 达到 既定 目的 的 任何 事物 "s 国内 
PA 20 世纪 末 以 来 就 受到 国内 学 者 的 广泛 关 | SEGUE AE AN BOR TR IDNGBOR HS IS IR, 


。 不 同学 科 的 学 者 从 政策 工具 的 视角 进行 了 大 量 | 是 由 政府 所 掌握 的 ` 可 以 运用 的 达成 政策 目标 的 手段 


也 位 。 


E 
实证 性 研究 , 显示 出 政策 工具 在 政策 分 析 中 的 重 和 措施 "1。 张 成 福 认 为 政策 工具 是 政府 将 是 指 目标 


转化 为 具体 行为 的 路 径 和 机 制 ”。 陈 振明 认为 政策 


在 目前 政策 工具 的 研究 中 ,政策 工具 识别 是 由 人 | 工具 是 人 们 为 解决 某 一 社会 问题 或 达成 一 定 的 政策 目 


工 进行 的 ,费时 费力 , 极 大 地 限制 了 政策 工具 在 政策 分 | 标 而 采用 的 具体 方式 和 手段 。 虽 然 目 前 学 界 对 政 


的 方法 ,并 进行 实证 。 策 目 标 而 采用 的 多 种 方式 与 手段 。 


1 政策 工具 识别 的 研究 概述 


1.2 政策 工具 分 类 体系 
运用 政策 工具 进行 政策 分 析 首 先 需 要 确定 政策 工 


1.1 政策 工具 定义 具 的 分 类 体系 。 由 于 研究 对 象 与 研究 目的 的 不 同 , 目 
政策 工具 基于 公共 政策 结构 论 发 展 而 来 ,目前 并 | 前 政策 工具 分 类 标准 不 一 ,分 类 体系 呈现 多 样 的 特点 。 
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E. S. Kirschen 最 早 提出 64 种 一 般 化 的 政策 工具 ， 
但 没有 进行 分 类 。L. M. Salamon 在 前 人 的 基础 上 提出 
了 规制 性 、 非 规制 性 开支 性 工具 与 非 开 支 性 工具 的 分 
2€, C. C. Hood 提出 信息 、 权 威 .财政 组织 工具 的 
426" M. Lorraine 等 将 政策 工具 分 为 命令 性 工具 、 
激励 性 工具 能 力 建设 工具 与 系统 变化 工具 4 2877, 
A. Schneider 等 提出 了 权威 型 .诱因 型 .能力 型 .劝说 
型 学习 型 的 政策 工具 分 类 体系 。R. Rothwell 等 将 
政策 工具 分 为 供给 面 .需求 面 、. 环 境 面 3 287 。 其 中 ， 
供给 面 政策 工具 主要 表现 为 政府 扩大 要 素 的 供给 ,如 
信息 .技术 .基础 设施 .资金 人 才 等 ,推动 某 领域 的 发 
民 ; 环 境 面 政策 工具 :主要 表现 为 政府 通过 财政 税收 、 
法 规 等 手段 改善 政策 环境 ,消除 障碍 ,间接 促进 其 发 
s JI 

表 1 


措施 直接 创造 市 场 需求 ,减少 不 确定 性 ,以 此 拉动 相关 
领域 的 开发 与 利用 '" 。 该 分 类 体系 涵盖 了 绝 大 多 数 
的 政策 工具 类 型 ,具有 较 高 的 权威 性 ,在 国内 应 用 最 为 
广泛 。 从 目前 公开 的 文献 来 看 ,我 国学 者 多 采用 这 种 
政策 工具 体系 来 进行 分 析 , 并 且 在 3 种 政策 工具 分 类 
之 下 ,又 进行 了 一 定 程度 的 细 分 ,让 工具 的 内 涵 和 外 延 
更 为 清晰 。 
1.3 当前 政策 工具 识别 流程 

目前 ,基于 政策 工具 视角 进行 政策 分 析 大 都 通过 
人 工 标 引 全 数据 集 的 方式 开展 ,其 基本 流程 为 :政策 文 
本 采集 一 一 政策 编码 一 一 政策 工具 识别 一 一 统计 分 
析 , 以 广州 市 政务 信息 共享 管理 规定 为 例 说 明 该 过 程 ， 
如 表 1 rz: 


政策 工具 标 引 示例 


iiy o 政策 名 称 政策 文本 的 内 容 分 析 单元 政策 编码 。 政策 工具 ”政策 工具 细 分 
CO 《广州 市 政务 信息 共享 管 mcm [1-3-14] ”供给 面 ”基础 设施 建设 
OO 理 规定 》 第 十 四 条 市 政务 信息 共享 主管 部 门 负责 统筹 全 市 自然 人 法人、 自然 次 
e 源 和 空间 地 理 基 础 数据 库 .电子 证 照 信息 数据 库 及 其 他 共享 信息 库 的 建 
: 设 。 各 政务 部 门 应 当 根据 法 律 法 规 规定 和 履行 职责 需求 ,统筹 建设 管理 
a 本 部 门 的 专业 数据 库 
《广州 市 人 民政 府 关于 加 二 支持 企业 做 强 做 优 做 天 [4-2-16] BAT 资金 投入 
快 工业 和 信息 化 产业 发 展 “〈 十 六 ) 对 按 国家 规定 通过 仿制 药 一 致 性 评价 的 基本 药物 目录 内 口服 固 
E 体制 剂 品种 .以 及 率先 在 全 国 前 三 名 通过 仿制 药 一 致 性 评价 的 其 他 化 学 
AI 药 制剂 品种 ,给 予 每 品种 200 万 元 的 资金 支持 
al0 《广州 市 人 民政 府 办 公 厅 ”一 .总 体 要 求 [10-1-3] ”环境 面 目标 规划 
29 — 关于 推进 健康 医疗 大 数据 (三 ) 推 进 目标 
S< 应 用 的 实施 意见 》 建立 健康 医疗 大 数据 共享 开放 及 运营 长 效 机 制 。 推 动 健 康 医疗 大 
数据 分 级 .分 类 .分 域 管理 和 有 效应 用 。 建 立 健全 政策 体制 .运行 机 制 和 
管理 方式 ,强化 标准 和 安全 体系 建设 ,强化 安全 管理 责任 ,逐步 实现 健康 
医疗 大 数据 全 生命 周期 管理 
QC 《广州 市 人 民政 府 办 公 厅 三 .保障 措施 [10-3-3] mam HAEN 
(关于 推进 健康 医疗 大 数据 《三 ) 加 强 安全 监管 保障 。 
应 用 的 实施 意见 》 搂 照 国家 、 省 及 市 卫生 医疗 行业 、 信 息 网 络 安全 监管 部 门 以 及 相应 安全 
法 律 .法 规 要 求 ,加强 本 市 健康 医疗 大 数据 安全 监管 保障 ,建立 信息 安全 
审查 制度 ,实施 数据 分 级 分 类 管理 ,防止 越权 使 用 数据 ,定期 进行 安全 评 
告 ,建立 安全 报告 和 应 急 处 置 机 制 ,制定 数据 安全 应 急 处 置 预案 ,确保 健 
康 医疗 大 数据 共享 开放 时 的 数据 安全 ……. 
147 《上 海 市 公共 数据 和 一 网 ”第 一 章 总 则 [147-1-9] ERE 。 ”政府 采购 
通 办 管理 办 法 》 第 九条 公共 数据 和 电子 政务 项 目 管理 应 当 适 应 快速 迭代 的 应 用 开发 模 
式 ,积极 采用 政府 购买 服务 的 项 目 建设 方式 ,将 数据 服务 .电子 政务 网 络 


对 该 分 析 单 元 按照 “政策 序号 - 具体 章节 号 - 
具体 条 款 号 ”进行 编码 [1 -3 -14] ,然后 对 照 选 定 
的 分 类 体系 ,人 工区 分 其 使 用 的 政策 工具 为 “供给 
Wü" ,政策 工具 细 分 为 “基础 设施 建设 ”"。 以 此 方式 
完成 该 领域 政策 文本 的 政策 工具 标 引 后 ,进行 统计 
分 析 。 

从 以 上 分 析 不 难看 出 ,上 述 政策 工具 分 析 的 流程 


m 


服务 ,电子 政务 云 服务 等 纳 人 购买 服务 范围 


中 政策 编码 与 政策 工具 人 工 识 别 这 两 个 步骤 较为 繁 
琐 、 易 出 错 ,对 较 大 数据 量 或 者 较 长 时 间 览 度 的 政策 分 
析 比 较 吃 力 。 大 多 数 研究 都 选择 政策 文本 数量 较 少 的 
领域 进行 政策 工具 的 分 析 , 如 风电 产业 、 光 伏 产 
业 ” 等 ,导致 政策 工具 分 析 利 用 的 范围 有 限 。 因 此 ， 
本 文 拟 通过 计算 机 技术 蔡 代 政策 编码 与 政策 工具 人 工 
识别 的 工作 ,实现 政策 工具 的 自动 识别 。 
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1.4 相关 工作 

目前 未 见 到 公开 发 表 的 政策 工具 自动 识别 方法 的 
研究 。 政 策 工具 识别 属于 政策 文本 识别 的 范畴 ,政策 
文本 识别 主要 采用 语言 学 .统计 学 .机 器 学 习 与 深度 学 
习 等 方法 。 马 费 成 等 基于 语言 学 方法 ,建立 了 政策 引 
用 类 型 语义 结构 ,获取 政策 间 的 关系 ,识别 政策 文本 的 
引用 主题 3 。 曾 文 等 基于 科技 政策 领域 术语 分 析 , 提 
出 了 基于 语言 学 与 统计 学 的 两 次 术语 过 滤 的 方法 , 实 
现 了 科技 政策 领域 术语 识别 方法 初探 2 。 刘 兴 针 对 
现 有 税收 政策 识别 主要 依靠 人 工 的 现状 ,研究 了 政策 
文本 挖 据 方 法 ,通过 应 用 属性 子 集 加 权 的 朴素 贝 叶 斯 
算法 以 及 属性 聚 类 的 正则 自动 机 模型 ,实现 了 税收 政 
SROCAS IS EL auus] 77 V ZEXHQUURIIH LDA 主题 概率 生 
成 异型 进行 文本 挖掘 分 析 , 得 到 我 国文 化 政策 15 个 主 
MISERE LA SE. BUE HONEC EROR 
寻 我 费时 费力 的 问题 ,利用 深度 学 习 模型 ,实现 政策 文 
重量 化 与 政策 中 企业 申 领 补贴 的 条 件 自动 识别 ,为 


CO 
CO 


hz HS A A Er EBREI A T INE TRE CASI 。 
林 德 明 等 以 国家 知识 产权 战略 的 政策 工具 选择 为 研究 


对 象 , 对 纲领 性 文件 中 的 战略 目标 、 指 导 性 政策 工具 与 
各 年 度 知识 产权 战略 推进 计划 中 的 政策 工具 进行 匹配 
度 计算 ,对 我 国 知识 产权 战略 的 目标 调整 与 执行 的 政 
策 工 具 选择 进行 全 面 分 析 ” 。 总 体 而 言 ,目前 政策 文 
本 识别 方法 以 传统 机 器 学 习 为 主 , 该 方法 需要 人 工 提 
取 特 征 ,在 政策 文本 数量 较 大 的 情况 下 能 力 有 限 ,而 深 
度 学 习 方 法 已 经 在 多 个 研究 领域 表现 出 优秀 的 性 
4E" ” 。 昌 有 部 分 学 者 进行 了 将 深度 学 习 方法 运用 
于 政策 文本 识别 任务 的 探索 ,但 未 见 系统 的 基于 深度 
学 习 进 行政 策 文本 识别 的 研究 ,特别 是 在 政策 工具 自 
动 识别 领域 。 因 此 ,本 文 拟 基于 政策 文本 本 里 特点 , 利 
用 深度 学 习 模 型 进行 政策 工具 自动 识别 的 方法 探究 。 
2 政策 工具 自动 识别 的 方法 及 流程 

本 文 进行 政策 工具 自动 识别 的 流程 见 图 1 ,首先 
对 政策 文本 进行 文本 段落 化 处 理 ,然后 划分 训练 数据 
集 进行 模型 训练 ,最 后 使 用 模型 对 测试 数据 进行 推断 ， 
给 出 待 判断 政策 中 每 个 段落 中 使 用 的 政策 工具 。 


E] 


IR 


= 政策 文本 3CkBHE E ( munem 对 测试 数据 进行 推断 
Hidden 
CN = HE O — 2m 
图 | -7 -—XX ` c "EMEN  " 'E 
N — i [-—— o———Ó— m 
m m 
Lo 
^ . 
S< 1 流程 框架 


2 政策 文本 段落 化 
.二 政策 制定 者 为 实现 特定 政策 目的 ,采用 多 种 方式 
"OREL. ABRET, ARAI- ROC UT ER 
政策 工具 ,并 且 多 以 单 段 落 或 相 邻 多 段落 文本 来 表达 
特定 的 政策 工具 。 因 此 ,本 文 对 政策 文本 进行 段落 化 
处 理 ,以 段落 为 单位 进行 政策 工具 的 自动 识别 。 
2.2 ”模型 选择 

我 国政 府 每 年 出 台大 量 的 政策 ,很 难 穷尽 政策 文 
本 的 表达 规则 ,而 且 目 前 缺乏 完善 的 政策 词 表 ,因此 
基于 规则 与 关键 词 的 方法 进行 政策 工具 的 识别 实现 
难度 较 大 。 同 时 ,政策 文本 作为 一 种 特殊 的 文献 ,有 
着 自身 的 独特 性 :政策 文本 段落 可 长 可 短 , 短 的 寥 
寥 数 字 , 长 的 上 百 字 ;@@ 政 策 文本 可 用 于 政策 工具 识 
别 的 特征 多 样 ,包括 词 频 、 词 汇 .互信 息 等 ;@ 政 策 用 
词 精炼 准确、 语词 专 指 度 高 ,核心 词汇 对 政策 工具 
的 识别 很 重要 。 基 于 传统 机 器 学 习 的 分 类 方法 需要 


自动 提取 包括 语义 特征 在 内 的 特征 ,更 为 全 面 。 因 
此 ,笔者 选择 基于 深度 学 习 的 方法 实现 政策 工具 的 
自动 识别 。 

典型 的 深度 学 习 文 本 分 类 模型 包括 卷 积 神经 网 络 
( convolutional neural network , CNN ) .长短 时 记忆 网 络 
(long short term memory network ,LSTM ) 、 门 探 循环 单元 
( gated recurrent unit, GRU) 等 。 

CNN 模型 包括 输入 层 , 卷 积 层 WEE ,全 连接 层 、 
WARS, ARE CNN 的 核心 ,输入 矩阵 与 郑 
积 核 矩 阵 在 卷 积 层 进行 卷 积 操作 ,得 到 特征 向 量 。 池 
化 层 用 于 提取 卷 积 之 后 的 重要 特征 ,去 除 无 关 信息 , 同 
时 降低 特征 向 量 维度 。 全 连接 层 则 将 特征 向 量 映射 到 
相应 的 分 类 类 别 来 完成 分 类 任务 。CNN 模型 易于 并 行 
操作 ,能 较 好 地 挖掘 文本 的 局 部 特征 。 

LSTM 是 循环 神经 网 络 (recurrent neural net- 
work, RNN) 的 改进 模型 ””。 通 过 引入 “ 门 ”" 机 制 来 


= 
Ho 


人 工 提取 特征 , 且 一 般 为 统计 特征 ,很 难保 证 取得 较 
好 的 分 类 效果 。 而 基于 深度 学 习 的 分 类 方法 能 实现 


控制 每 个 单元 的 输入 与 输出 。 遗 忘 门 决 定 了 上 一 
时 刻 的 单元 状态 有 多 少 保留 多 少 到 当前 时 刻 的 单 
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元 状态 ;输入 门 决 定 了 当前 时 刻 的 输入 有 多 少 保存 
到 单元 状态 ;输出 门 则 决定 了 LSTM 当前 时 刻 的 单 
元 输出 量 。LSTM 解决 了 RNN 在 长 序列 训练 过 程 
中 梯度 消失 与 梯度 爆炸 的 问题 ,能 够 捕捉 语言 中 的 
序列 信息 。 

GRU 和 LSTM 类 似 , 也 是 一 种 循环 神经 网 络 ,但 相 
较 于 LSTM ,CRU 主要 将 输入 门 . 遗 忘 门 、 输 出 门 修改 
为 两 个 门 :更 新 门 与 重 置 门 ,同时 将 单元 状态 与 输出 合 
并 为 一 个 状态 ,使 得 模型 更 为 简单 ,训练 所 需 参 数 更 
少 ,速度 更 快 ” 。 

本 文 基于 CNN LSTM , GRU3 种 经 典 深度 学 习 模 型 
进行 政策 工具 的 自动 识别 。LSTM 与 GRU [Bim] T- fiie 
数据 中 的 序列 信息 ,为 了 使 两 者 能 更 加 专注 于 有 利于 
殉 策 工具 分 类 的 重要 特征 ,提升 识别 的 效果 ,在 原 有 模 


= 


"IRI AER BIA TÆR (Attention) 机 制 。 注 意 力 机 
制 能 够 对 输入 序列 中 的 不 同 元 素 给 予 不 同 大 小 的 权 
种 5 农 终 通 过 参数 学 习 , 能 够 从 众多 信息 中 选择 出 对 当 


WES e er n 。 


* 政策 采集 

.一 近年 来 ,政府 信息 公开 是 政府 重点 工作 之 一 ,是 建 
BOEMET ERAH. JER EYE 广州 贵阳 四 地 
的 殉 府 信息 公开 工作 开展 较 好 ,因此 本 文 以 四 地 政府 
信和 起 公开 政策 为 研究 对 象 ,进行 基于 深度 学 习 的 政策 
TERRITI KIE 

广义 的 政府 信息 公开 包括 了 电子 政务 公开 、 政 府 
信息 公开 以 及 政府 数据 开放 等 ,因此 本 文 以 中 国政 府 
网 .北大 法 宝 及 北京 .上海 广州 .贵阳 四 地 的 政府 网 站 
为 数据 源 ,以 “政府 数据 "“ 开 放 数 据 “ 政 务 资源 ” 
“电子 政务 “信息 公开 ”作为 检索 词 进行 检 索 ,采用 自 
动 采集 技术 获得 政策 数据 , 共 获 取 739 篇 政策 。 
3.2 ”政策 信息 预 处 理 

政策 信息 预 处 理 的 目的 是 提高 数据 质量 ,为 后 续 
人 工 标 引 环 节 提 供 准确 的 实验 数据 集 ,主要 包括 : 

(1) 去 掉 不 相关 和 重复 的 政策 。“ 信 息 公 开 ”“ 开 
放 数 据 “ 电 子 政务 "是 近年 来 政府 推进 的 重点 工作 之 
一 ,因此 ,在 不 少 政策 中 都 会 提 及 ,对 政府 信息 公开 非 
主要 内 容 的 政策 予以 去 除 。 另 外 ,不 同 省 市 都 会 转发 
上 级 机 构 发 布 的 政策 ,造成 数据 重复 。 


2.3 ”整合 全 局 信息 辅助 政策 工具 自动 识别 

上 述 方法 基于 段落 化 的 政策 进行 政策 工具 的 自动 
识别 ,忽略 了 政策 的 全 局 信息 。 政 策 全 局 信息 中 包含 
着 该 政策 使 用 政策 工具 的 倾向 性 ,能 够 提供 额外 信息 
辅助 进行 段落 中 的 政策 工具 识别 。 因 此 ,本 文 考虑 整 
合 政策 全 局 信息 辅助 进行 政策 工具 的 自动 识别 。 考 虑 
到 政策 标题 是 政策 内 容 的 重要 概括 ,是 政策 全 局 信息 
的 重要 体现 ,本 文 在 上 述 研究 的 基础 上 ,对 每 个 政策 段 
落 加 上 相应 的 政策 标题 ,进行 政策 工具 的 识别 ,探究 其 
对 政策 工具 自动 识别 的 影响 。 


3 ”实证 研究 


实证 研究 的 流程 为 :中 利用 自动 采集 技术 获取 相 
关 领 域 的 政策 文本 ,并 对 文本 进行 预 处 理 ;@ 根 据 选 定 
的 政策 工具 分 类 体系 ,人 工 标 引 训练 数据 ;号 根据 政策 
工具 识别 任务 的 特点 ,选择 合适 的 文本 分 类 模型 进行 
模型 训练 ;由 使 用 最 优 模型 进行 政策 工具 自动 分 类 。 
如 图 2 所 示 : 


图 2 实验 流程 


(2) 对 政策 的 元 数据 信息 进行 规范 。 对 不 同 信息 
来 源 的 政策 发 布 时 间 格 式 进行 统一 、\ 规 范 政策 发 布 机 
构 的 名 称 等 。 

(3 ) 政 策 文 本 的 段落 化 。 将 文本 按 段 落 进行 划 
分 ,对 于 字数 较 少 的 段落 ,如 “目录 ” “总则 ”等 ,对 政策 
工具 识别 的 影响 不 大 , 故 将 其 中 较 短 的 段落 合并 至 相 
邻 段 落 中 。 经 过 以 上 3 个 环节 的 人 处理, 实验 数据 集 呈 
现 以 下 情况 :保留 四 地 与 政府 信息 公开 相关 的 政策 文 
本 共计 449 篇 。 其 中 ,北京 237 篇 ,上 海 107 篇 ,广州 
30 篇 ,贵阳 75 篇 。 对 449 篇 政策 文本 段落 化 后 , 共 获 
得 自然 段 19 449 个 。 

3.3 人工 标 引 训练 集 

人 工 标 引 政策 工具 的 目的 是 形成 高 质量 的 训练 数 
据 集 ,为 机 器 学 习 模 型 的 训练 提供 素材 。 具 体 工 作 包 
括 : 员 建立 完整 的 政策 工具 分 类 体系 ;@ 人 工 对 政策 文 
本 段落 进行 解读 和 标 引 ,形成 数据 训练 集 。 本 文 以 R. 
Rothwell Ej W. Zegveld 的 政策 工具 分 类 为 基础 ,结合 
政府 信息 公开 领域 的 特点 ,将 其 进一步 细 化 ,形成 了 本 
文 所 使 用 的 政策 工具 分 类 体系 ( 见 表 2) ,以 此 为 基础 
对 8 000 个 政策 段落 进行 两 轮 政策 工具 标 引 "”。 


118 


ChinaXiv 合 作 期 刊 


FM, ZER, 朱 一 真 , 等 . 政策 工具 自动 识别 方法 与 实证 研究 []. 图 书 情报 工作 ,2021 ,65(7):115 -122. 


表 2 政府 信息 公开 政策 工具 标 引 体系 及 实例 
工具 类 型 工具 名 称 标注 示例 
供给 面 信息 支持 2. 加 强 前 沿 和 基础 研究 。 加 快 完善 基础 研究 体制 机 制 ,强化 企业 创新 主体 地 位 和 主导 作用 ,面向 信息 通信 技术 领域 的 基 


础 前 沿 技术 ,共性 关键 技术 ,加 大 科技 攻关 


内 互信 互 认 
I 大 对 大 数据 、 云 计算 等 新 一 代 信息 技术 和 产品 研发 以 及 公共 服务 平台 、 


时 


P2 
民 务 平台 标准 规范 体系 .安全 保障 体系 和 运营 管理 体系 基本 建立 ,国务 院 部 门 垂直 业务 办 理 系 
部 服务 的 水 平 显著 提升 ,全 国 一 体 化 在 线 政务 服务 平台 框架 初步 


1, 不 断 提高 机 关 工 作 人 员 知 网 、 懂 网 、 


门 政务 服务 平台 与 国家 政务 服务 平 


EJ 
提 合 作 ,实现 纳税 信息 与 金融 信息 互 
科技 小 巨人 信用 贷 "“ 阳光 贷 ”"“ 文 创 


昌 保 业务 ,实施 “ 专 精 特 新 "专项 担保 、“ 


# 和 国政 府 信息 公开 条 例 》。 各 地 区 各 部 门 要 调整 完善 相关 配 


` 第 五 代 移动 通信 、 未 来 网 络 、 空 天 地 一 


展 新 潜力 。 加 快车 联网 、 工 业 互 联网 、 能 源 互 联网 等 标准 研 


区 务 单位 的 业务 资质 、 、 人 员 素 质 , 核 实 管理 制度 、 响 


基础 设施 建设 国家 建立 电子 证 照 共享 服务 系统 ,实现 电子 证 照 跨 地 区 , 跨 部 门 共享 和 全 国 范 轩 
资金 投入 (三 ) 加 大 资金 支持 。 统 筹 利用 财政 专项 资金 
用 示范 项 目的 支持 力度 
公共 服务 ( 四) 加强 队伍 建设 。 要 将 政府 网 站 工作 纳入 干部 教育 培训 内 容 , 定 期 组 织 开展 培 Y 
用 网 的 意识 和 水 平 ,提升 网 上 履 职能 力 。 加 强 专业 人 才 培养 …… 
环境 面 目标 规划 2019 年 底 前 ,国家 政务 服务 平台 上 线 运 行 ,各 省 ( 自治 区 .直辖 市 ) 和 国务 院 有 关 前 
对 接 , 全 国 一 体 化 在 线 政务 
统 为 地 方 政务 服务 需求 提供 数据 
金融 支持 /税收 优惠 5 .建立 多 层次 企业 信用 融资 服务 体系 ,助力 实体 经 济 发 展 。 持 续 推动 银 税 互动 . 银 
认 , 支 持 担保 机 构 面向 中 小 微 企业 开展 融资 
保 “ 银 税 保 " 等 
法 规 管制 (十 二 ) 贯彻 落实 政府 信息 公开 条 例 。 修 订 出 台 《 中 华人 民 
套 措施 ,严格 落实 新 条 例 各 项 规定 ,做 好 衔接 过 渡 工 作 。 
T 策略 性 措施 培育 信息 产业 发 展 新 增长 点 。 加 快 信息 物理 系统 、 人 工 智能 、 认 知 计算 .增强 现实 
> 体 化 网 络 等 前 沿 共性 关键 技术 的 攻关 和 产业 化 ,培育 产业 发 
e 制 , 推 广 应 用 和 产业 化 ,培育 一 批 具 有 国际 竞争 力 的 行业 领军 企业 
政府 采购 创新 电子 政务 运行 管理 体制 ,大 力 推进 政府 采购 服务 。 
外 包 对 政府 网 站 信息 内 容 建设 中 外 包 的 业务 和 事项 ,要 严格 审查 
应 速度 .应 急 预 案 ,确保 符合 政府 网 站 运行 要 求 
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3m 基线 模型 :机 器 学 习 方 法 

号 本 文选 择 丙 种 传统 机 器 学 习 模 型 作为 基线 模型， 
人 包 摘 逻辑 回归 (logistic regression, LR ) 和 支持 向 量 机 
( ort vector machines, SVM) 。 考 虑 到 核心 词汇 在 
政策 工具 识别 中 的 重要 性 ,本文 使 用 文本 TF-IDF 向 量 
文本 特征 。 其 中 TF 表示 词 频 , 即 词 项 在 一 篇 文档 
Pub UT ERE, TF 越 大 说 明 这 篇 文档 与 该 词 项 的 相 
KERK; DF 表示 文档 频率 , 即 出 现 词 项 t 的 文档 的 
BF, DF 越 大 说 明 该 词 越 可 能 是 一 个 常见 词 ”” 。 
此 外 用 逆 文 档 频率 IDF 可 以 表示 词 项 的 重要 性 ,IDF 
的 计算 如 下 : 


IDF = log N/DF 公式 (1) 

其 中 N 代表 文档 集合 中 文档 的 数目 。TF-IDF 的 
最 终 计算 为 : 

TF-IDF = (1 +log(TF)) * log( N/DF) 公式 (2) 

本 文 将 政策 中 的 每 一 个 段落 表示 为 一 组 向 量 ,向 
量 中 的 每 一 维 表示 段落 中 该 位 置 词 项 的 TF-IDF 值 。 
3.5 ”模型 参数 设置 

本 文 按照 4:1:1 的 比例 划分 训练 集 、 验 证 集 测试 
集 。 基 于 训练 集 进 行 模型 训练 ,更 新 模型 参数 ,并 根据 
验证 集 选择 性 能 最 好 的 模型 ,最 后 在 测试 集 上 测试 模 
型 效果 。 模 型 的 主要 参数 设置 如 下 :在 LR 模型 中 , 设 
置 正则 化 系数 的 倒数 C=0.5。 在 SVM 模型 中 ,设置 C 
=0.6。 在 深度 学 习 模 型 中 ,设置 文本 最 大 长 度 为 130， 
并 使 用 公开 的 中 文 维基 百科 预 训 练 词 向 量 (300 维 ) 文 


件 获取 词语 的 初始 表达 。 其 中 单 层 CNN 模型 的 卷 积 
核 大 小 分 别 为 2.3 4 .5 ,然后 将 经 过 最 大 池 化 得 到 的 向 
量 进 行 拼 接 , 最 后 使 用 两 个 分 别 具 有 128 个 和 11 个 神 
经 元 的 全 连接 层 进行 分 类 。 在 带 Attention 机 制 的 
LSTM 模型 中 ,LSTM 模型 隐藏 层 大 小 为 60 ,在 使 用 Ar 
tention 融合 得 到 文本 表达 后 ,最 后 使 用 两 个 分 别 具 有 
64 个 和 11 个 神经 元 的 全 连接 层 进 行 分 类 。 榜 Atten- 
tion 机 制 的 GRU 模型 配置 与 带 Attention 机 制 的 LSTM 
模型 相同 , 仅 将 LSTM 模块 替换 为 GRU 模块 。 


4 实验 结果 与 分 析 


4.1 实验 结果 

传统 机 器 学 习 模 型 与 深度 学 习 模 型 在 测试 集 上 的 
结果 见 表 3。 其 中 , Accuracy 是 指 准确 率 , 即 正确 预测 
的 数量 除 以 预测 总 数 ;Weighted avg Fl 是 指 加 权 宏 平 
I Fl ,是 由 综合 考虑 查 全 率 与 查 准 率 的 Fl 计算 平均 


表 3 模型 测试 结果 
模型 Accuracy Weighted avg FI 
LR 0.681 6 0.637 3 
SVM 0.733 0 0.716 2 
CNN 0.765 1 0.754 7 
LSTM + Attention 0.755 4 0.758 0 
GRU + Attention 0.759 9 0.754 1 


从 实验 结果 来 看 ,无 论 是 机 器 学 习 模型 还 是 深度 
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学 习 模型 都 能 达到 68% 及 以 上 的 准确 率 ,这 说 明 将 传 
统 机 器 学 习 方 法 与 深度 学 习 方 法 运用 于 政策 工具 的 自 
动 识别 上 是 可 行 的 。 同 时 ,基于 深度 学 习 的 方法 在 该 
任务 上 的 效果 普遍 优 于 传统 机 器 学 习 方法 ,这 与 深度 
学 习 模 型 相 较 于 传统 机 器 学 习 模型 具有 更 强 的 特征 表 
达能 力 .可 以 学 习 到 文本 的 语义 信息 .能 更 关注 文本 的 
局 部 特征 有 着 密切 的 关系 。 如 下 面 使 用 了 “法 规 管 
制 "的 政策 工具 的 政策 段落 。 

“贯彻 落实 政府 信息 公开 条 例 。 修 订 出 台 《 中 华 
人 民 共 和 国政 府 信息 公开 条 例 )。 各 地 区 各 部 门 要 调 
整 完善 相关 配套 措施 ,严格 落实 新 条 例 各 项 规定 ,做 好 
衔接 过 渡 工 作 ” 

深度 学 习 模 型 CNN HF Attention 机 制 的 LSTM 种 
Attention 机 制 的 GRU 模型 可 以 正确 识别 该 样 例 所 属 
类 多 ,而 传统 机 器 学 习 模型 LR 及 SVM 则 识别 错误 。 
本 页 分 析 认为 深度 学 习 模型 更 容易 学 习 到 语义 的 关联 
纺 , 如 文中 的 “条 例 "与 “法 规 管制 "具有 较 强 的 语义 
办 联 性 ,这 是 传统 机 器 学 习 方 法 不 具备 的 能 力 。 另 外 ， 
政策 段落 中 能 够 体现 政策 工具 属性 的 往往 是 部 分 短语 
或 词语 ,如 上 述 的 “公开 条 例 ”“ 修 订 出 台 ” 等 ,而 CNN 
BERI A? Attention 机 制 的 LSTM 模型 . 带 Attention 机 制 
的 CRU 能 更 加 关注 这 种 局 部 信息 ,这 也 是 深度 学 习 模 
型 绑 果 优 于 传统 机 器 学 习 模型 的 原因 之 一 。 


- 


><CNN 模型 在 实验 中 表现 出 较 好 的 性 能 ,并 且 训练 
时 河和 开销 较 小 ,因此 本 文 在 CNN 模型 基础 上 加 入 全 
局 售 息 进行 实验 。 实 验 结果 显示 ,整合 全 局 信息 进行 
政 岳 工具 识别 的 准确 率 为 77. 1396 ,加 权 宏 平均 Fl 为 
76.79% , 优 于 未 整合 全 局 信息 的 CNN 模型 ,说 明 整合 
全 局 信息 辅助 进行 政策 工具 自动 识别 的 方案 是 可 行 
的 。 

4.3 ”置信 度 对 实验 结果 的 影响 

上 述 准确 率 最 高 的 模型 为 整合 全 局 信息 的 CNN 


表 4 置信 和 度 对 整合 全 局 信息 的 CNN 模型 结果 的 影响 


置信 和 度 数据 留存 比 Accuracy Weighted avg F1 
0.85 0.728 6 0.894 6 0. 888 45 
0. 87 0.7107 0.903 5 0. 893 9 
0.90 0.669 6 0.917 6 0.908 2 
0.92 0.648 8 0.925 3 0.9164 
0.95 0.594 3 0.949 8 0.944 9 
0.97 0.556 3 0.954 4 0.949 4 
0.99 0.443 7 0.981 5 0.979 6 


为 0.97 时 ,数据 留存 比 为 55.63% ,模型 识别 政策 工具 
的 准确 率 达 到 了 95.44% ,满足 了 实用 的 要 求 。 这 意味 
着 运用 该 模型 进行 政策 工具 的 自动 识别 时 , 若 模型 给 
某 条 数据 打 标 签 时 的 置信 和 度 高 于 0. 97, 则 该 数据 有 
95.44% 的 概率 确实 属于 该 标签 ,无 需 再 次 进行 人 工 复 
核 。 因 此 在 实际 标注 过 程 中 ,将 有 55.63% 的 数据 不 再 
需要 人 工 复 核 ,大 大 提高 了 政策 工具 标 引 的 效率 。 
4.4 存在 的 不 足 

本 文 模型 整合 了 政策 文本 的 全 局 信息 ,同时 在 高 
置信 度 条 件 下 满足 了 实用 的 准确 率 ,但 在 全 量 数据 上 ， 
目前 的 方法 仍 有 较 大 的 提升 空间 ,通过 阅读 政策 发 现 
部 分 政策 段落 使 用 的 政策 工具 需要 结合 上 下 文 信息 来 
进行 判断 ,如 下 面 的 段落 : 

“实现 政务 服务 事项 清单 标准 化 ` 办 事 指 南 标准 
化 、 审 查 工作 细则 标准 化 、 考 核 评估 指标 标准 化 、 实 名 
有 户 标准 化 线 上 线 下 支付 标准 化 等 ,让 企业 和 群众 享 
受 规范 .透明 \ 高 效 的 政务 服务 ” 

单 从 段落 本 刁难 以 判断 政策 工具 所 属 的 类 别 ,但 
是 结合 其 所 属 上 文 “( 二 ) 总 体 目标 ” ,应当 判 定 为 目标 
规划 。 因 此 在 模型 中 加 入 上 下 文 信息 可 能 带 来 性 能 提 
升 。 同 时 也 可 以 考虑 到 政策 用 词 与 表达 相对 规整 的 特 
点 ,结合 词 表 和 规则 的 方法 应 当 能 进一步 提升 工具 识 
别 的 准确 率 。 


5 结语 


Cm 


模型 ,为 77.13% , 若 直接 使 用 该 模型 对 政策 段落 进行 
政策 工具 识别 ,仍然 需要 进行 人 工 复核 。 为 了 进一步 
提升 识别 的 准确 率 ,减少 人 工 复核 投入 的 成 本 ,本 文 引 
入 了 置信 和 度 的 概念 ,置信 度 是 指 模型 输出 类 别 时 对 应 
的 概率 值 。 本 文 探 究 了 整合 全 局 信息 的 CNN 模型 在 
不 同 置信 和 度 下 的 性 能 表现 ,结果 见 表 4。 其 中 “数据 留 
存 比 ”是 指 在 测试 集中 ,模型 给 出 类 别 概率 大 于 或 等 于 
相应 置信 度 的 数据 占 测试 集 的 比例 。 

随 着 置信 度 的 提高 ,数据 留存 比 降低 ,但 是 模型 的 
准确 率 与 加 权 宏 平均 FL 值 大 幅度 提升 。 如 在 置信 度 


本 文 以 北上 广 吐 四 地 政府 信息 公开 政策 为 数据 
源 ,探索 运用 深度 学 习 方 法 实现 政策 工具 的 自动 识别 ， 
并 提出 了 整合 全 局 信息 进行 政策 工具 识别 的 思路 , 通 
过 实证 研究 证 明了 模型 的 有 效 性 。 在 高 置信 和 度 的 条 件 
下 ,整合 全 局 信息 的 深度 学 习 模型 在 较 高 比例 的 数据 
上 达到 了 满足 实用 的 准确 率 , 提高 了 政策 工具 标 引 的 
效率 。 但 该 模型 在 全 数据 集 上 仍 有 较 大 的 提升 空间 ， 
后 续 考 虑 在 模型 中 整合 上 下 文 信息 、 结 合 词 表 与 规则 
等 方法 进一步 提升 工具 识别 的 准确 率 。 此 外 本 文 的 重 
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点 在 于 基于 深度 学 习 的 政策 工具 自动 识别 的 方法 探 
究 , 后 续 将 运用 该 模型 揭示 北上 广 贵 四 地 政府 信息 公 


开 政 策 工 具 使 用 现状 。 
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Policy Tool Identification Method and Empirical Research Based on Deep Learning 
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Abstract: [ Purpose/significance | The identification and analysis of policy tools is one of the important meth- 

ods of policy research. However, the identification of policy tools is mostly manual. In this article, we attempt to use 

deep learning methods to automatically identify policy tools, aiming at improving the efficiency of policy tool identifi- 

cation. | Method/process | We designed and implemented the policy tool automatic identification experimental 

process of "Policy data collection and cleaning-policy tool manual indexing-model training-result interpretation". We 

take the open government data policies of Beijing, Shanghai, Guangzhou, and Guiyang as an example to compare the 

performance of traditional machine learning methods and deep learning methods on the task of identifying policy tools. 

In. addition, we have proposed to integrate policy global information to identify policy tools in each paragraph, and 

Qür experiments have proved the effectiveness of the idea. | Result/conclusion | The deep learning model CNN a- 

leves an accuracy of 76.5196 on the full test data, and the CNN model that integrates global information achieves 

(an accuracy of 77. 13%. When evaluating the high-confident results of the model, we find that the model achieves an 

Cacturacy of 95. 44% on 55. 6396 of the test data, which has reached the practical requirements. This shows that 

more than half of the data can be indexed with the model' s high-confidence results without manual review. Deep 

ning methods have been applied to the automatic identification of policy tools and has achieved good results. lt 

Céould help to improve the efficiency of policy tool labeling and provide positive experience for the automatic identifica- 

jon of policy tools with big data. And it provides a positive experience for automatic identification of policy tools with 
S, data volumes. 


> Keywords: policy tools deep learning automatic identification CNN 
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